17歲高中生，以一作身份，在Kimi團隊把Ilya提出的設想，變成了現實。Ilya之前有個預言，把按時間先後順序處理資料的LSTM網路“旋轉90度”，也就是把時間軸換成模型深度軸，就變成了現在的殘差網路。Kimi團隊認為，既然時間上的LSTM能對應深度上的殘差，那後來淘汰了LSTM的“注意力機制”自然也可以照做。他們新搞出的Attention Residuals技術，就相當於把注意力機制也“旋轉了90度”。用了這套新方法後，模型在計算當前層時可以聰明地“回頭看”，根據需要自由決定去提取前面那一層的資訊。這篇論文讓馬斯克也來圍觀，表示令人印象深刻。除了馬斯克，這篇論文也引發了大神Karpathy的思考，直言我們對Attention is All You Need這篇Transformer開山之作的理解還是不夠。這種新機制放到Kimi自家的Kimi Linear 48B大模型（3B啟動參數）上驗證，訓練效率提升25%，推理延遲增加不到2%。殘差連接的“記憶負擔”先回顧一下殘差連接的工作原理。傳統做法是：第N層的輸出 = 第N層的計算結果 + 第N-1層的輸出。這樣一路累加下去，每一層都能“記住”前面所有層的資訊。問題來了，在大模型PreNorm主流範式下，殘差連接中所有層的貢獻都是等權累加。就像一個“記憶力太好的人”，把所有經歷都以相同權重存進大腦。貢獻被逐步稀釋，早期資訊難以檢索，且大量層可被剪枝而損失微小，稱之為“PreNorm dilution problem”。更麻煩的是，隱藏狀態的范數會隨著深度不斷增長。研究人員發現，在深層網路中，這種unbounded growth會導致訓練不穩定。月之暗麵糰隊換了個思路：既然問題出在“無差別累加”，那就讓網路自己決定該回憶什麼。用注意力“選擇性回憶”團隊觀察到一個有趣的對偶性：網路的深度維度和序列的時間維度，本質上是同構的。在Transformer處理序列時，用注意力機制讓當前位置“選擇性關注”之前的位置。那麼在深度維度上，為什麼不能讓當前層“選擇性關注”之前的層？Attention Residuals就這麼來的：當前層的可學習偽查詢向量作為query（learnable pseudo-query）所有前層的輸出作為key和value用注意力機制加權聚合這樣一來，網路可以學會那些層的資訊對當前計算最重要，就多關注一點；不相關的層，權重自然降低。但這帶來一個新問題：計算量爆炸。如果一個100層的網路，每一層都要對前面99層做full attention residual，複雜度是O(L²)，根本跑不動。Block AttnRes：分塊壓縮論文中的解決方案是Block AttnRes。核心思想是把連續的若干層打包成一個block，對block內部的輸出做壓縮，只保留一個“摘要向量”。具體操作如下：把L層網路分成B個block，每個block包含若干層每個block結束時，把block內的資訊壓縮成單個向量後續層做attention時，只需要關注塊間表徵+塊內即時層輸出，而非全部L個層這樣一來，attention的複雜度從O(L²)降到了O(L·B)，在實踐中B可以設得很小（論文用的是8-16）。此外，團隊還做了數個工程最佳化：快取式流水線通訊、序列分片預填充、KV 快取粒度最佳化等等。Kimi Linear驗證：1.25倍效率提升理論說得通，但真正讓人信服的是大規模驗證。團隊在自家的Kimi Linear架構上做了測試。這是一個採用線性注意力的大模型，總參數48B，啟動參數3B（MoE架構）。同等計算預算下，Attention Residuals能獲得更好的下游性能；反過來說，達到相同性能需要的訓練計算量減少了約20%，相當於獲得了1.25倍的效率優勢。在具體任務上，數學推理（MATH、GSM8K）、程式碼生成（HumanEval、MBPP）均持平或略優，多語言理解的一致性也有所改善。更重要的是，Attention Residuals是一個drop-in replacement，不需要修改網路其他部分，直接替換殘差連接即可。論文裡還講到一個有意思的視角。團隊把這項工作稱為“時間-深度對偶性”（time-depth duality）的應用。在他們看來，深度神經網路的“層”和循環神經網路的“時間步”，本質上是都是對資訊的迭代處理。Transformer之所以成功，是因為用attention替代了RNN中固定的recurrence。那麼在深度維度上，是不是也該用attention替代固定的residual？17歲高中生入列共同一作更有意思的是，這篇讓馬斯克、Karpathy等人都為之一震的論文，共同一作之一是一名年僅17歲的高中生——陳廣宇（Nathan）。另外兩名共同一作，分別是Kimi的關鍵人物之一、RoPE（旋轉位置編碼）的提出者蘇神（蘇劍林），以及Kimi Linear的第一作者張宇。誠然Attention Residuals是團隊協作取得的成果，但一名高中生出現在這樣的團隊之中，還與兩位大神共列一作，已經足夠震撼。a16z創始人Marc Andreessen、Thinking Machines的聯創等人都關注了他的X帳號。一年前才剛剛開始瞭解大模型的陳廣宇，是從北京的一場駭客鬆開始，一路走向矽谷的。後來回國時，他選擇加入了Kimi。經手過月之暗面投資的奇績創壇（原YC中國）創始成員董科含，也曾在其個人公眾號上刊載過陳廣宇的一份自傳。去年二月，北京的一場中學生駭客松上，陳廣宇展示了一個關於“人類第三隻機械輔助手”的創新構想——ThirdArm。也正是這個項目，讓他結識了駭客松評委董科含，後者也成為了他的創業導師。當時，董科含追問他，未來是否會深耕這項技術，這促使他開始重新審視自己的職業方向。隨後他入選了董科含發起的只有極少數人入選的青年計畫，開始接觸IOI（國際資訊學奧林匹克）金牌得主及資深科研人員。此前他曾嘗試經營Shopify跨境電商店舖、營運短影片帳號，但經過董科含的建議，他決定轉向理解時代的底層技術。當時還不知道Transformer是什麼的他，在DeepSeek研究員袁境陽的指導下，利用Gemini作為輔助工具，通過研讀經典論文、追蹤GitHub開放原始碼專案等方式逐步建立認知。有一次他在推特上分享了對一篇部落格的反思後，獲得了作者的回覆，這篇帖子也因此引起了一家矽谷AI初創公司CEO的關注。該公司於2024年底成立，2025年初完成了800萬美元種子輪融資，資方背景涉及OpenAI與Anthropic。在通過一項限時通宵完成的實驗測試後，他拿到了對方的錄用通知。暑假期間，他前往舊金山開啟了為期七周的實習。其中前兩周，他負責定義並推進一個涉及144張H100顯示卡的探索性項目。在CEO直接指導下，他的工作延伸至營運層面，參與了招聘系統搭建、技術內容輸出及融資策略討論，並獲得與早期投資者Vinod Khosla交流的機會。在矽谷期間，他維持著高強度工作節奏，通過咖啡社交與輝達工程師及初創創始人建立聯絡。這次經歷讓他將科研視為一種支撐創造的底層能力。實習結束後，陳廣宇回到國內，並於去年11月加入月之暗面。把他吸引進去的，正是Kimi一直做的Flash Linear Attention這一類高效attention工作。實際上，正是GitHub上的FLA項目，吸引了他對機器學習的興趣並被邀請加入Kimi團隊。也正是順著這條線，他開始一路往更底層鑽，從讀論文、看實現，到研究 Triton kernel、理解attention為什麼能被這樣重寫、這樣加速。到了月之暗面，這條路也算是繞了一圈又落回原點——他最初是被底層技術吸引，最後做的也正是最底層、最核心的那部分事。相比於講一個“少年天才一路開掛”的故事，陳廣宇的經歷更像是另一種成長路徑——先被時代最前沿的技術擊中，再一步步把興趣磨成能力，把能力帶到真正的大模型研發現場裡。 (Python開發者)

2026 年 3 月 16 日，Kimi 團隊最新公開的論文《Attention Residuals》提出了一種針對大模型底層結構的改法。同時 MoonshotAI 也在 GitHub 開源了相關技術報告與實現。該論文獲馬斯克誇讚：“Kimi 的工作令人印象深刻。”論文瞄準的不是訓練資料、參數規模或推理技巧，而是 Transformer 裡一個用了很多年的基礎設計「殘差連接」。用通俗的話說，現在的大模型內部像一條很長的流水線。每一層都會把自己的結果直接加到後面，優點是訓練穩定、網路能堆得很深，但問題是層數一多，前面真正重要的資訊容易被後面的新資訊不斷沖淡。論文把這個問題概括為 PreNorm 下的“稀釋”現象，也就是隱藏狀態會隨著深度持續變大，早期層的貢獻越來越不顯眼。上傳的論文正文對這一點有直接說明。這篇論文的核心思路，是把過去這種“所有層結果默認一股腦往後加”的方式，改成“後面的層按需去前面挑資訊”。作者把這套方法叫做 Attention Residuals，簡稱 AttnRes。簡單理解，它相當於給模型加了一個會翻舊帳的機制，後面的層不再機械接收前面所有層的累計結果，而是像注意力機制那樣，根據當前需要，從更早的層裡找出更有用的資訊再融合進來。過去注意力機制改變了 token 與 token 之間的資訊傳遞，現在 AttnRes 想進一步改變層與層之間的資訊傳遞。這件事之所以被業內關注，不只是因為想法新，還因為它動的是大模型最底層、最通用的一塊積木。Transformer 這些年有很多改進，大家經常改的是 attention、MoE、長上下文、KV cache 或訓練配方，但很少直接去碰 residual connection 這類默認配置。AttnRes 的價值就在於，它試圖回答一個更底層的問題，模型變深以後，資訊到底該怎麼在不同層之間流動，才不會越傳越亂。當然，理想很豐滿，工程通常很殘酷。因為如果每一層都去“看”所有更早的層，記憶體和通訊成本會迅速上升。為瞭解決這個問題，論文又提出了 Block AttnRes，也就是“塊注意力殘差”。它的做法不是逐層精細回看，而是先把很多層壓成若幹個塊，只在塊之間做這種選擇性檢索。可以把它理解成，不是翻整本書的每一頁，而是先把內容整理成幾個章節目錄，再按章節去查。這樣一來，記憶體和通訊開銷從 O(Ld) 降到 O(Nd)，更適合真正的大模型訓練和推理場景。論文還配套設計了跨 stage 快取和兩階段計算策略，報告稱典型推理負載下額外延遲低於 2%，啟用 pipeline parallelism 時訓練端到端額外開銷低於 4%。從實驗結果看，這不是那種“只在某個小模型上偶然有效”的工作。論文做了 scaling law 實驗，比較了 baseline、Full AttnRes 和 Block AttnRes 三種方案。結果顯示，AttnRes 在不同計算預算下都持續優於基線，而 Block AttnRes 在最大規模上已經能夠追回大部分 Full AttnRes 的收益。按論文給出的擬合結果，在 5.6 PFLOP/s-days 這一點上，Block AttnRes 達到的損失水平，相當於基線多用 1.25 倍計算量才能達到。GitHub 倉庫首頁也把這一點作為核心結果之一展示出來。論文還把這套方法接入了 Kimi Linear 架構中，使用的是一個 48B 總參數、3B 啟動參數的模型，並在 1.4 T tokens 上進行了預訓練。按照上傳論文中的結果，採用 Block AttnRes 後，模型在通用、數學、程式碼和中文評測上都沒有輸給 baseline，很多項目還有明顯提升。比如 MMLU 從 73.5 提升到 74.6，GPQA-Diamond 從 36.9 提升到 44.4，Math 從 53.5 提升到 57.1，HumanEval 從 59.1 提升到 62.2，C-Eval 從 79.6 提升到 82.5。尤其是多步推理、數學和程式碼這類更依賴組合能力的任務，提升更明顯。如果把這篇論文再說得更白一點，它不是在教大模型“多背一點知識”，而是在幫大模型“更準確地調出自己已經學到的東西”。傳統殘差更像是把所有舊資料不斷堆進一個大箱子，箱子越堆越滿，找重點越來越難；AttnRes 更像是給這個箱子加了索引系統，後面的層可以按需要去翻前面真正有用的資料。這也是為什麼這項工作雖然看起來不像新模型發佈那樣熱鬧，卻可能對下一代大模型底層結構設計產生實際影響。它最大的意義，在於證明“層與層之間的資訊傳遞”也可以像 token 之間那樣被重新設計，而且這種重寫在大模型規模上仍然能跑得動、能帶來穩定收益。至於它會不會像標準殘差連接那樣成為行業新默認配置，還要看後續更多模型、更多團隊和更長時間的復現與驗證。該論文更引人注意的是其中作者之一：陳廣宇是一位 17 歲的高中生，參與了技術研究。 (雲頭條)